Clearing the Fog: Towards Installing and Refining Proactive Exploration Capabilities in LLM Agents
扫清迷雾：在 LLM Agent 中植入与精调主动探索能力
🧭 LLM Agent 主动探索训练 ★ 深度解读
Sichuan University · National University of Singapore · University of Leeds · Engineering Research Center of Machine Learning and Industry Intelligence
通过探索性数据构建和对比信号引导强化学习，大幅提升 LLM Agent 在多轮交互任务中的主动探索与决策能力
📌 工作参考价值（4 点）
- 电商购物 Agent 的训练数据要包含探索轨迹：标准人类专家轨迹中探索动作几乎为 0（如 WebShop 中 Next/Back 仅 0.1%），导致 SFT 后的 Agent 只会被动执行、不会翻页回溯。可以用强 LLM 配合树结构上下文，合成包含主动搜索、回溯、分支尝试的探索丰富轨迹，作为 SFT 初始化数据。
- 用树结构管理会话历史，避免长程任务中的上下文迷失：在电商搜索、多轮比价等场景，线性的 action-observation 历史会混淆有效路径与废弃分支。借鉴论文中的 tree-structured history + cognitive notes，在 Agent 内部显式维护分支、回溯指针和状态标注（如 [DEAD END]、[SUB-OPTIMAL]），能显著提升策略的探索质量。
- 用对比偏好对 + DPO 校准「探索 vs 执行」的决策边界：在关键状态上，采样学生动作与参考动作，通过 MC rollout 估计各自未来回报，过滤小差距对后做 DPO。这套机制可以迁移到推荐/搜索 Agent 的策略优化，让模型学会何时继续浏览、何时停止探索并做出购买/点击决策。
- 探索效率评估与难度分层分析：论文提出的 Eff = EE - WE 指标（有效探索减浪费探索）以及按任务难度分层统计探索强度，可用于业务中诊断 Agent 是否在做有效信息获取，而不是盲目增加交互步数。